D3ER: Supporting Multi-Modal Recommendation via Disentangle and Distillation-based Dynamic Ensemble
D3ER：基于解耦与蒸馏动态集成的多模态推荐
🧭 多模态推荐 · 动态集成与知识蒸馏
Institute of Software, Chinese Academy of Sciences · University of Chinese Academy of Sciences
首次将梯度提升引入多模态推荐，交替学习模态同质与异质判别信息，并以知识蒸馏和全局校正正则增强集成
📌 工作参考价值（4 点）
- 多模态商品/内容理解中，显式拆解“跨模态同质判别信息(HOI)”与“模态特有异质判别信息(HEI)”，分别建模再动态集成，可避免单一联合表示的内部冲突，适合电商图文/短视频/标题等多模态商品表征。
- 借鉴 gradient boosting 的交替训练与样本聚焦思路：轮换训练不同专家模型，让各模型专注处理自己擅长的样本（如视觉突出 vs 文本突出），后续以动态 ensemble 融合，提升整体排序效果。
- 多个专家模型上线成本高时，可用 knowledge distillation 把多专家集成知识迁移到单一轻量 student，保留集成增益的同时降低存储/推理开销，适合推荐系统线上 serving。
- global correction regularization 可作为防止交替训练陷入局部最优的通用正则，迁移到其他多任务/多专家训练框架中。